Learning and transfer of training: a quasi-experiment with longitudinal design / Aprendizagem e transferência de treinamento: um quase-experimento com desenho longitudinal / Aprendizaje y transferencia de entrenamiento: un casi-experimento con diseño longitudinal

This paper aimed to evaluate learning in three trainings held at a Brazilian federal public organization. It is a longitudinal quasiexperiment with three waves, pre-test (before training ­ T1), post-test 1 (right after the end of the training ­ T2) and post-test 2 (around three months after the training - T3). Learning was assessed with situational tests, so results are based on performance rather than self-assessment. Results show that the experimental group obtained better scores in post-test 1 than it did in the pre-test and better scores than the control group did in post-test 2. There were no difference in the results obtained by the control group, comparing pre and post-test, and that there was no difference in tests according to previous experience and demographic data. Results indicate that learning occurred as a consequence of training and was not explained by other factors of the organizational environment or individuals. (AU)

Esse artigo teve como objetivo mensurar a aprendizagem em três seções de treinamento realizadas em uma organização pública federal brasileira. Trata-se de um quase experimento longitudinal, com três ondas, sendo o pré-teste (antes do treinamento), o pós-teste 1 (imediatamente após o término do treinamento) e o pós-teste 2 (após três meses do término do treinamento). A aprendizagem foi medida usando-se testes situacionais, garantindo que os resultados são baseados em desempenho e não auto relato. Os resultados indicam que o grupo experimental obteve melhores notas no pós-teste 1 do que no pré-teste e melhores notas no pós-teste 2 quando comparado ao pós-teste 1. Não foram encontradas diferenças no grupo controle entre o pré e pós teste, nem diferenças nos resultados dos testes devidas à experiência prévia ou a dados demográficos, indicando que a aprendizagem ocorreu como consequência do treinamento e não de explicações alternativas. (AU)

Este artículo tuvo como objetivo medir el aprendizaje en tres capacitaciones de entrenamiento realizadas en una organización pública federal brasileña. Se trata de un casi-experimento longitudinal con tres momentos: el pre-test (antes del entrenamiento), el post-test 1 (inmediatamente después del término del entrenamiento) y el post-test 2 (después de tres meses del término del entrenamiento). El aprendizaje fue medido usando tests situacionales, garantizando que los resultados se basan en el desempeño y no en el autoinforme. Los resultados indican que el grupo experimental obtuvo mejores notas en el post-test 1 que en el pretest y mejores notas en el post-test 2 comparado con el post- test 1. No se encontraron diferencias en el grupo control entre el pre y post test, ni diferencias en los resultados de los tests debido a experiencia previa o a datos demográficos, indicando que el aprendizaje ocurrió como consecuencia del entrenamiento y no de explicaciones alternativas. (AU)

Evaluation of learning, reaction and impact of corporate training at work / Avaliação de aprendizagem, reação e impacto de treinamentos corporativos no trabalho

Abstract This research aimed to evaluate individual level reaction, learning using situational tests and impact of three trainings conducted at a regulatory agency, analyzing: individuals' previous experiences in trainings; customers' sociodemographic variables; support to transfer; and relationships between the variables. The survey comprised 211 respondents, five instruments for data collection, and descriptive and non-parametric statistics for data analysis. The results indicated that: there is no significant correlation between learning and impact self-assessment; there is a significant correlation between reaction assessment and impact self-assessment; and the participants' psychosocial support assessment was significantly related to their impact self-assessments. The main contributions and limitations of the study are discussed.

Resumo Esta pesquisa teve como objetivo avaliar a reação, a aprendizagem por meio de testes situacionais e o impacto no nível do indivíduo de três treinamentos realizados em uma Agência Reguladora, analisando a experiência dos indivíduos na temática dos treinamentos, as variáveis sociodemográficas, o suporte à transferência e as relações entre as variáveis. A pesquisa contou com 211 respondentes, cinco instrumentos para coleta de dados e estatísticas descritivas e não-paramétricas para análise dos dados. Os resultados indicaram que não há correlação significativa entre aprendizagem e autoavaliação de impacto; há correlação significativa entre reação e autoavaliação de impacto; a avaliação de suporte psicossocial pelos participantes esteve significativamente relacionada com a autoavaliação de impacto. São discutidas as principais contribuições e limitações do estudo.

Avaliação qualitativa de treinamento / Qualitative training evaluation / Evaluación cualitativa del entrenamiento

A presente pesquisa teve como objetivo avaliar qualitativamente os efeitos de três treinamentos, identificando fatores facilitadores e fatores dificultadores da aprendizagem no contexto estudado, de acordo com as percepções de instrutores e participantes. Foram utilizados dois instrumentos para coleta de dados: um roteiro de entrevista semiestruturada e um roteiro semiestruturado para grupo focal, aplicados respectivamente em instrutores e egressos dos treinamentos. Os dados foram analisados por meio de análise de conteúdo (Bardin, 2011). A análise das transcrições das entrevistas resultou em oito categorias de conteúdo e, dos grupos focais, em cinco categorias de conteúdo. O desenho instrucional, o ambiente e as características dos instrutores foram apontados pelos egressos dos treinamentos como facilitadores de aprendizagem. Os dificultadores estavam relacionados a características individuais, do ambiente e ao suporte organizacional. Esses resultados sugerem a realização de mais pesquisas qualitativas, para aprofundar a compreensão sobre o relacionamento entre variáveis em avaliação de treinamento.

This research aimed to qualitatively evaluate the effects of three training activities, identifying enabling and disabling factors for learning in the context in question, according to instructor and participant perceptions. Two instruments for data collection were used: a semi-structured interview script and a semi-structured script for focus groups, applied respectively to training instructors and graduates. Data were analyzed using content analysis (Bardin, 2011). The interview transcripts analysis resulted in eight content categories and, from the focus groups, five content categories. Training graduates indicated instructional design, environment, and instructor characteristics as learning enablers. Disabling factors for learning were related to individual and environmental characteristics, and organizational support. These results suggest that additional qualitative surveys be conducted to deepen the understanding about the relationships between variables in training evaluation.

La presente investigación tuvo como objetivo evaluar cualitativamente los efectos de tres entrenamientos, identificando factores facilitadores y dificultadores del aprendizaje en el contexto estudiado, según las percepciones de instructores y participantes. Se utilizaron dos instrumentos para la recopilación de datos: uno para guiar la entrevista y otro para guiar al grupo focal, aplicados respectivamente en instructores y egresados de los entrenamientos. Los datos fueron verificados por medio de análisis de contenido (Bardin, 2011). El análisis de las transcripciones de las entrevistas resultó en ocho categorías de contenido, y el de los grupos focales, en cinco. El diseño instruccional, el ambiente y las características de los instructores fueron apuntados por los egresados como facilitadores de aprendizaje. Los dificultadores estaban relacionados con las características individuales, el ambiente y el soporte organizacional. Estos resultados sugieren la realización de más investigaciones cualitativas para profundizar la comprensión sobre la relación entre variables en evaluación de entrenamiento.